Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems
针对智能体AI自动化攻击的防御性误导分析
🧭 Agent安全防御 · 误导性反馈
Keysight Technologies Inc.
提出检测后给出误导性非操作响应，将自动化越狱攻击成功率上界降低两个数量级
📌 工作参考价值（4 点）
- 对话推荐Agent的防注入策略：当检测到恶意输入时，不要返回统一的拒绝话术（如“我无法回答”），因为这会为自动化攻击提供可预测的反馈信号；改用看似合理但无实际操作的误导性回应，让攻击者误判成功，从而浪费其查询预算。
- 轻量级误导实现CMPE：借鉴文中的渐进式上下文误导方法，在对话状态中维护安全的信息片段，检测到恶意意图后逐步递送无关的“安全诱饵”，既保持对话流自然，又避免泄露系统边界。
- 防御评估指标迁移：用攻击者的阳性预测值（PPV）替代传统的ASR来评估鲁棒性，更能反映在自动化红队场景下误导策略的有效性，适合在电商搜索Agent上线前做对抗测试。
- 工程实现建议：将安全检测与响应生成解耦，检测模块判定恶意度后，将请求转发至专门的“误导生成器”（可用小型微调模型），不增加主流程延迟，对在线服务影响小。